This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.

关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是，他们面临三个常见的陷阱：（1）尾巴：医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题，并导致性能恶化； （2）一致性：尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征； （3）多样性：整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身，以发现不同解剖学观点的类似但不同的样本。在本文中，我们介绍了一种新型的半监督医学图像分割框架，称其为您自己的解剖结构（MONA），并做出了三个贡献。首先，先前的工作认为，每个像素对模型培训都同样重要。我们从经验上观察到，仅此单单就不太可能定义有意义的解剖特征，这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次，我们构建了一组目标，鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后，我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性，该数据在不同的标签设置下实现了新的最新设置。

最近的作品显示了深度学习模型在词汇（IV）场景文本识别中的巨大成功。但是，在现实情况下，播音外（OOV）单词非常重要，SOTA识别模型通常在OOV设置上表现较差。受到直觉的启发，即学习的语言先验有限的OOV预言性，我们设计了一个名为Vision语言自适应相互解码器（VLAMD）的框架，以部分解决OOV问题。 VLAMD由三个主要谱系组成。首先，我们建立了一个基于注意力的LSTM解码器，具有两个适应性合并的仅视觉模块，可产生视觉平衡的主分支。其次，我们添加了一个基于辅助查询的自动回归变压器解码头，以进行通用的视觉和语言先验表示学习。最后，我们将这两种设计与双向培训相结合，以进行更多样化的语言建模，并进行相互的顺序解码以获得强烈的结果。我们的方法在IV+OOV和OOV设置上分别实现了70.31 \％和59.61 \％单词的准确性，分别在ECCV 2022 TIE TIE Workshop上的OOV-ST挑战的裁剪单词识别任务上，我们在这两个设置上都获得了第一名。

基因本体论（GO）是能够在生物医学中实现计算任务的主要基因功能知识基础。 GO的基本元素是一个术语，其中包括一组具有相同功能的基因。 GO的现有研究工作主要集中于预测基因术语关联。很少追求其他任务，例如生成新术语的描述。在本文中，我们提出了一项新颖的任务：GO术语描述生成。该任务旨在自动生成一个句子，该句子描述了属于这三个类别之一的GO术语的功能，即分子功能，生物过程和细胞分量。为了解决此任务，我们提出了一个可以有效利用GO结构信息的图形网络。提出的网络引入了两层图：第一层是GO术语的图形，每个节点也是一个图（基因图）。这样的图形网络可以得出GO术语的生物学功能并生成适当的描述。为了验证拟议网络的有效性，我们构建了三个大规模基准数据集。通过合并所提出的图形网络，可以在所有评估指标中显着提高七个不同序列与序列模型的性能，其中BLEU，Rouge-rouge-相对改善高达34.7％，14.5％和39.1％ L和流星。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

有限的GPU记忆资源阻碍了深度神经网络的进一步发展。因此，高度要求GPU内存资源的优化。通常应用交换和重新计算，以更好地利用GPU记忆。但是，作为一个新兴领域，仍然存在一些挑战：1）静态和动态方法的重新计算效率受到限制。 2）交换需要手动卸载参数，这会产生巨大的时间成本。 3）没有这种动态和细粒的方法，涉及张量与当今的张量重新组件一起交换。为了纠正上述问题，我们提出了一个名为Delta（动态张量卸载和重新组件）的新型调度程序经理。据我们所知，我们是第一个在没有用户监督的情况下进行张量交换和张量重新组合的合理的动态运行时间调度程序。在Delta中，我们提出了一种过滤器算法，以选择要从GPU内存中释放出来的最佳张量，并提出导演算法，以选择每个张量的适当动作。此外，故意考虑预取和重叠以克服交换和重新计算张量引起的时间成本。实验结果表明，DELTA不仅节省了40％-70％的GPU记忆，从而超过了最新方法，而且还获得了可比的收敛结果，并获得了可接受的时间延迟。此外，与基准相比，当训练Resnet-101训练Resnet-101时，Delta在训练Resnet-50和2.25 $ \ times $时获得2.04 $ \ times $最大批量。此外，我们实验中的交换成本和重新计算成本之间的比较表明，在张量交换和张量重新计算上制定合理的动态调度程序的重要性，这在某些相关工作中反驳了交换应该是第一个也是最好的选择。

Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.

无监督域适应（UDA）技术的最新进展在跨域计算机视觉任务中有巨大的成功，通过弥合域分布差距来增强数据驱动的深度学习架构的泛化能力。对于基于UDA的跨域对象检测方法，其中大多数通过对抗性学习策略引导域不变特征产生来缓解域偏差。然而，由于不稳定的对抗性培训过程，他们的域名鉴别器具有有限的分类能力。因此，它们引起的提取特征不能完全域不变，仍然包含域私有因素，使障碍物进一步缓解跨域差异。为了解决这个问题，我们设计一个域分离rcnn（DDF），以消除特定于检测任务学习的特定信息。我们的DDF方法促进了全局和本地阶段的功能解剖，分别具有全局三联脱离（GTD）模块和实例相似性解剖（ISD）模块。通过在四个基准UDA对象检测任务上表现出最先进的方法，对我们的DDF方法进行了宽阔的适用性。

医疗报告生成，旨在自动产生对特定医学形象的长期和连贯的报告，一直受到越来越多的研究兴趣。现有方法主要采用受监督的方式和大量依赖耦合图像报告对。但是，在医疗领域，建立大规模的图像报告配对数据集既耗时又昂贵。为了放宽对配对数据的依赖性，我们提出了一个无人监督的模型知识图形自动编码器（KGAE），它接受独立的图像集和报告。 KGAE由预构建的知识图形，知识驱动的编码器和知识驱动的解码器组成。知识图形作为桥接视觉和文本域的共享潜在空间;知识驱动的编码器将医学图像和报告报告到该潜在空间中的相应坐标，并且知识驱动的解码器在此空间中给出了坐标的医疗报告。由于知识驱动的编码器和解码器可以用独立的图像和报告培训，因此kgae是无监督的。实验表明，未经审计的KGAE在不使用任何图像报告培训对的情况下产生所需的医疗报告。此外，KGAE还可以在半监督和监督的环境中工作，并在培训中接受配对图像和报告。通过使用图像报告对进行进一步微调，KGAE始终如一地优于两个数据集上的当前最先进的模型。

多发性硬化症（MS）是中枢神经系统的慢性炎症和退行性疾病，其特征在于，白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像（MRI）提供了详细的体内结构信息，允许定量和分类MS病变，其批判性地通知疾病管理。传统上，MS病变在2D MRI切片上手动注释，一个流程效率低，易于观察室内误差。最近，已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而，它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现，深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里，我们提供了全面审查最先进的自动统计和深度学习MS分段方法，并讨论当前和未来的临床应用。此外，我们审查了域适应等技术策略，以增强现实世界临床环境中的MS病变分段。